Text generation web UI
https://github.com/oobabooga/text-generation-webuioobabooga/text-generation-webui
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.
LLM webUI
FlexGenを採用している
@needle: 大規模言語モデル版のAUTOMATIC1111 WebUIを目指すoogabooga Text-Generation-WebUIでOPT-30B動いた。とりあえず3090でFlexGen無しでも入りきったようで動いてる。返答はめちゃくちゃ遅いけど言語的な破綻はほぼ無い、これが手元で動いてるとか凄いわ（文章と和訳はALT内に） https://t.co/Bxhbw5tkcR
https://gyazo.com/6980f0973d94b1ef60fdcfcf61c8eb8d